Trong Bắc Kỳ tấu nghị gửi lên vua Tự Đức ngày 20 tháng 6 năm (1873), Phụ chính Nguyễn Văn Tường đã nhận xét về Hoàng Kế Viêm như sau:Hoàng Kế Viêm bản chất rất bao dung, vốn có tài lâm cơ đoán định, lay chuyển chẳng dời, được xem là một tay đảm đương vậy...[4].

Nói về Ông Ích Khiêm, nhà văn Phan Khôi có nhắc lại câu:

"Nước Nam có bốn anh hùng;Tường gian, Viêm láo, Khiêm khùng, Thuyết ngu!"[5]

Bàn luận về đôi câu này PGS. TS. Đỗ Bang viết: Sau ngày kinh đô thất thủ, phe thân Pháp và tay sai nắm quyền, các vị này thất thế bị rơi vào thế đối lập chống lại triều đình...Danh dự của các ông bị bôi nhọ, xuyên tạc ngay tại Huế...bia miệng độc ác và nghịch lý nhất là khi đem sự nghiệp của các ông ra làm điều giễu cợt...[6].

Tuy Hoàng Kế Viêm và Lưu Vĩnh Phúc đã từng gắn bó với nhau trong nhiều trận chiến, nhưng sự kết hợp của hai ông có đôi khi không được tốt, mà trận Pháp đánh thành Sơn Tây là một ví dụ. Sau trận này, GS. Trần Văn Giàu có lời phê rằng:

Hoàng Tá Viêm đóng đại quân ở Vân Chủng, tiếng là để làm thế ỷ đốc cho Lưu Vĩnh Phúc, mà tới việc thì chẳng đánh chác gì cả và không tiếp viện cho Lưu. Khi Lưu lui quân về Hưng Hóa, Hoàng Tá Viêm cũng đưa quân về đóng ở Thục Luyện (Phú Thọ)[7].Hoàng Tá Viêm lúc đầu trong phái chủ chiến, khi ông cầm quân với chức cao nhất Tổng thống quân vụ Bắc kỳ , vậy mà với hơn vạn quân tinh Nhuệ chủ lực của triều đình mà toàn né tránh đụng độ với Pháp. Dể mất Hà Nội, sơn Tây, Hưng Hoá , không hề đánh chác gì. 2 Trận thắng Cầu Giấy là công lớn của cờ đen. Ông về Kinh và sau được vua bán nước Đồng Khánh trọng dụng, được vào cơ mật viện đại thần, Thái tử thiếu bảo....và được Đồng Khánh sai đi đánh dẹp các phong trào nổi dậy chống Pháp...